Tuy không nằm trong số nhân vật chính trong tiểu thuyết Tam Quốc diễn nghĩa của La Quán Trung, nhân vật Quách Hoài vẫn có vai trò khá lớn trong việc bảo vệ biên cương phía tây Tào Ngụy bên cạnh Tư Mã Ý và Tào Chân.

Cái chết của ông được La Quán Trung hư cấu khác trong sử sách do quan điểm đứng về phe Thục. Theo đó, trong lần thứ tư Khương Duy đánh Ngụy, Quách Hoài dùng mưu đánh tan quân Thục. Trên đường truy kích Khương Duy, Quách Hoài một mình một ngựa đuổi theo. Khi ông bắn Khương Duy, Khương Duy nghiêng người né và nhanh tay bắt được mũi tên, rồi dùng chính mũi tên đó bắn trả lại, trúng vào trán Quách Hoài. Quách Hoài ngã ngựa, quân Ngụy phía sau ùa đến cứu ông, Khương Duy quay lại nhưng chỉ kịp giật lấy ngọn giáo của ông và bỏ chạy. Quách Hoài được đưa về trại nhưng máu chảy không cầm và qua đời.